889. Орлов А.И., Савинов Ю.Г., Богданов А.Ю. Методика дуальных шкал при экспертном оценивании параметров дерева промежуточных событий развития авиационного происшествия с учетом барьеров предотвращения и парирования // Научный вестник Московского государственного технического университета гражданской авиации. 2014. № 204 (6). С.32 – 38.

УДК 629.73:35.078

МЕТОДИКА ДУАЛЬНЫХ ШКАЛ ПРИ ЭКСПЕРТНОМ ОЦЕНИВАНИИ ПАРАМЕТРОВ ДЕРЕВА ПРОМЕЖУТОЧНЫХ СОБЫТИЙ РАЗВИТИЯ АВИАЦИОННОГО ПРОИСШЕСТВИЯ С УЧЕТОМ БАРЬЕРОВ ПРЕДОТВРАЩЕНИЯ И ПАРИРОВАНИЯ 

А.И. Орлов, Ю.Г. Савинов, А.Ю. Богданов

Статья представлена доктором технических наук, профессором Б.В. Зубковым

В статье обосновывается двухуровневая методика экспертного оценивания параметров дерева промежуточных событий при развитии авиационного события/происшествия на основе логико-вероятностной модели, совмещающей в себе преимущества двух широко используемых методов: «Анализ видов и последствий потенциальных отказов» (FMEA) и «Анализ дерева неисправностей» (FTA) [1].

Ключевые слова: авиационное событие/происшествие, логико-вероятностное дерево событий, экспертные оценки, ранговые и абсолютные шкалы, дуальная рангово-абсолютная экспертиза 

1.	Введение
Фундаментальная проблема создания комплексной информационно-аналитической компьютерной системы управления деятельностью авиакомпании, нацеленной на поддержание нормативного уровня безопасности полетов, стоит в повестке дня уже многие годы. Здесь отчетливо проявляется противоречие между желаниями сотрудников авиакомпании (АК), отвечающих за планирование мероприятий по безопасности полетов, и стремлением специалистов в области математического и компьютерного моделирования, создающих комплексную математическую и информационную (многофакторную, многоуровневую) модель развития авиационного события. Первым хотелось бы иметь простой и надежный инструмент количественной оценки и прогнозирования риска авиационного события, оценки материального ущерба и автоматизированного выбора мероприятий, ослабляющих до приемлемого уровня влияние наиболее значимых факторов опасности. Вторые, объективно оценивая реальную сложность и непростую формализуемость задачи математического моделирования, не могут, как правило, предложить единую математическую модель с обозримым числом параметров, что приводит к декомпозиции общей задачи на большое количество подзадач и подсистем, исследующих многочисленные факторы, влияющие на безопасность полетов (средовые, машинные, человеческие факторы и др.). И в результате разработчики не могут предложить заказчику полностью автоматизированную систему, которой мог бы пользоваться специалист, не имеющий полного представления о внутренней структуре системы.
В работе [1] предпринята попытка создания нового подхода к моделированию и численному анализу безопасности технических систем. Это инновационная комбинация двух традиционных и широко используемых методов анализа надежности: «Анализ видов и последствий потенциальных отказов» (FMEA) и «Анализ дерева неисправностей» (FTA). Анализ комбинаций отказов – значимое преимущество FTA перед FMEA. Однако использование FTA требует специальных знаний, определенного опыта в области анализа и даже эвристических постулатов, что в совокупности приводит к упущениям из анализа некоторых из видов отказа или их комбинаций [2].
Объединение методов для анализа безопасности на уровне авиапредприятия требует специальных подходов. В статье [1] обосновывается применение подхода FTA-FMEA для построения «дерева событий» с целью расчета (прогнозирования) риска авиационного события. Проведенный в течение 2011-2012 гг. специалистами АК «Волга-Днепр» и научными сотрудниками Ульяновского госуниверситета анализ показал, что подход к расчету риска авиационных событий, основанный на построении деревьев событий, с использованием методологии FMEA-FTA, применим для задач прогнозирования вероятностей авиационных событий (АС) в авиакомпании. Предлагаемая методология существенно упрощает процедуру и сокращает время построения деревьев по сравнению с использованием классического вероятностного анализа безопасности. 
Однако исключительная сложность авиационно-транспортной системы и малые вероятности и риски, как следствие редких случайных событий, требует проведения дополнительных специальных исследований, обеспечивающих достоверность параметров логико-вероятностных деревьев промежуточных событий, с учетом барьеров предотвращения и парирования. В противном случае точность прогноза вероятности авиационного события нельзя признать удовлетворительной.
В частности, большое значение имеет точная оценка так называемых «передаточных коэффициентов» в деревьях событий, которые служат основой формул расчета вероятности текущего узла многоуровневого дерева событий по вероятностям узлов нижнего уровня. При этом вероятности событий нижнего уровня (факторов опасности), предполагаются вычисленными на основе обновляемых статистических данных и средств объективного контроля. Смысл передаточных коэффициентов в первом приближении совпадает с условными вероятностями события верхнего уровня, при условии осуществления событий нижнего уровня. При этом предполагается, что структура дерева событий приведена к каноническому виду, когда данное событие верхнего уровня связано с событиями нижнего уровня только логическими связями «и» или только логическими связями «или». Передаточные коэффициенты несут в себе также скрытый корректирующий смысл, связанный с неполнотой информации и неточностью математической модели. Поэтому определять эти коэффициенты только на основании статистических данных (что далеко не всегда возможно) не представляется целесообразным. По мнению авторов, гораздо перспективнее выявить этот неявный корректирующий смысл передаточных коэффициентов на основе опроса экспертов (пилотов, шеф-пилотов), что предполагает наличие специальной методики анкетирования и обработки полученных результатов. 
В данной статье предлагается методика расчета экспертных оценок передаточных коэффициентов в деревьях событий на основе совместного использования ранговых и абсолютных шкал, что вызвано объективной невозможностью прямого опроса экспертов о величине передаточного коэффициента (т.е. условной вероятности). Она отражает опыт разработки Автоматизированной системы прогнозирования и предотвращения авиационных происшествий, выполняемой сотрудниками ГрК «Волга-Днепр», Ульяновского госуниверситета и косультантами на основе Постановления Правительства РФ № 218 [3-5].
Заметим, что разработка специальных методик опросов и обработки экспертных оценок в сфере обеспечения безопасности полетов до настоящего времени вызывает интерес исследователей [6], но в данном случае проведение «тонкого» экспертного оценивания и разработка специальной методики обработки результатов объективно вызваны повышенными требования к точности, предъявляемыми исходной задачей построения логико-вероятностного дерева авиационного события.
 
2.	Методика экспертного оценивания на основе дуальных шкал
Предположим, что некоторое промежуточное событие A в дереве событий зависит от k событий предыдущего уровня B1, B2,…, Bk с логической связкой «или». Логическая связка «и» приводит к одному передаточному коэффициенту, который может быть оценен усреднением ответов экспертов. Таким образом, необходимо оценить k передаточных коэффициентов . Будем считать, что мы располагаем n экспертами, которые в равной степени компетентны в данной области. Экспертам предлагается заполнить таблицу следующего вида (рис.1):

Осуществились события	Последующее событие A	
	Оценка 1 –
по убыванию влияния	Оценка 2 –
влияние по 5-ти балльной шкале	
B1			
B2			
…	…	…	
Bk			

Оценка 1. Отметить каждое осуществившееся событие номером в порядке убывания его влияния на последующее событие по частоте (1 – если событие наступило, то оно чаще других событий из списка приводит к последующему событию и т. д.), т.е. сравниваются (ранжируются) вероятности произойти последующему событию, если произошли события из левого столбца.
Оценка 2. Оценить каждое осуществившееся событие по 5-ти бальной шкале по силе влияния (1 – практически не влияет, 2 –влияет слабо, 3 -  умеренно влияет, 4 – сильно влияет, 5 – очень сильно влияет), т.е. оценивается в балльной системе насколько велика вероятность произойти последующему событию, если произошло событие из левого столбца.

Рис. 1. Шаблон анкета экспертного опроса (фрагмент)

Оценка типа 1 – это кластеризованная ранжировка (обработка кластеризованных ранжировок подробно рассмотрена в главе 4 книги [7]), т.е. упорядочение факторов опасности внутри заданной группы (допускается одинаковая оценка факторов, в таком случае они объединяются в группу – кластер, ранги внутри кластера усредняются). Оценка типа 2 – это отнесение фактора к одной из пяти упорядоченных градаций (как при оценке знаний учащихся). Здесь , ; n – число экспертов, k – число событий в группе.
Эти оценки используются в дальнейшем для расчета оценок событий в группе, в которой есть элемент, поддающейся количественной оценке по статистическим (например, из [8]) или экспертным данным, а также для построения поправочных коэффициентов к средним значениям вероятностей базовых событий в дереве (факторов опасности), которые должны быть заданы заранее, т.е. определены из текущего прогноза или по соответствующим базам данных.
Первый шаг – переход от набора ранжировок Оценки 1 к таблице рангов. В результате n экспертов получают численные оценки k событий , где i = 1, 2, …, n, – номера экспертов,  j = 1, 2, …, k, – номера событий в группе, причем  – это ранг события j для эксперта i. При отсутствии связанных рангов среди указанных экспертом чисел встречаются по одному разу все числа от 1 до k, т.е. все ранги. Использование связанных рангов допустимо, данные экспертов корректируются на этапе статистической обработки. 
	Тогда весовые коэффициенты событий имеют вид:
.					(1)
Таким образом, вес события – это сумма всех его оценок экспертами, деленный на сумму всех оценок событий экспертами (по всем событиям в группе).
Поскольку оценки – это ранги, то 
.			(2)
Это соотношение верно и в случае использования связанных рангов. Подставляя формулу (2) в формулу (1), получаем, что веса событий имеют вид
.				(3)
Оценки 1 и 2 разнонаправленные, поэтому для совместного использования оценок первого и второго типов  и  формулы (1) - (3) надо модифицировать. То есть, если  – оценка 1 (ранг) события j для эксперта i, то её надо заменить на k+1 - . Данная замена приводит при расчете весовых коэффициентов к следующей формуле:
, 				(4)
где k – число событий в группе.
Проверка согласованности ответов экспертов при использовании экспертных оценок типа 1 состоит в том, что итоговые ранжировки комиссии экспертов строятся двумя способами. Первый – на основе упорядочения сумм рангов (в использованных выше обозначениях –  на основе весов событий, заданных формулой (4) для оценки 1, формулой (3) для оценки 2). Второй – на основе упорядочения медиан рангов, выставленных экспертами определенным событиям (при этом итоговой оценкой события j является медиана рангов , где i = 1, 2, …, n – номера экспертов). Две итоговые ранжировки подвергаются процедуре согласования [7], в результате которой события, по поводу упорядочения которых нет единого мнения, выделяются в отдельные кластеры. Весовые коэффициенты для событий, попавших в один кластер, усредняются. Практика показывает, что число таких событий обычно мало по сравнению с общим числом событий. 
Идеально, если бы пилоты смогли оценить для каждого из событий B1, B2,…, Bk с какой вероятностью оно приведет, если произошло, к появлению события A. Но, как показывает практика опросов, многим пилотам это сделать трудно. Пилотам легче провести операцию сравнения вероятностей и рисков, которая более свойственна мышлению эксперта (и любого человека), чем операция оценивания в виде числа. Поэтому в данной методике анкетирования мы просим экспертов только сравнить эти вероятности между собой (Оценка 1), а оценить вероятность только одного (желательно, самого важного) из событий (по разработанной дополнительной анкете). Это самое важное (или наиболее легкое для экспертного оценивания) случайное событие выбирается на основе результатов предварительного тура анкетирования.
	Принимается, что отношение , построенное для оценки 1, показывает, во сколько раз чаще встречается событие j по сравнению с событием . Предположим, что для события с номером  статистическими (на основе соответствующей базы данных) или экспертными (по дополнительной анкете) методами найдена количественная (т.е. численная, не порядковая) оценка вероятности .
	Тогда для события с номером j оценка находится из соотношения

.				(5)
	В случае, если количественно определенными оказываются оценки нескольких событий, зависимость переменной P от переменной  может быть найдена методами регрессионного анализа [9], исходя из пар (, P), для которых P количественно определена. Для остальных пар в качестве оценки вероятности события используются восстановленные значения.
Так как в анкетах не указывается сила проявления события A, которая может быть различной в зависимости от события Bj, j=1,...,k, вводится скорректированная оценка вероятности, используя оценку 2. Здесь главной причиной коррекции является возможность парирования экипажем воздействия события Bj на появление события A.
Кроме того, во-первых, оценка 2 позволяет определить, правильно ли эксперты поняли методику. Например, если эксперт маловажному фактору (Оценка 1, например, равна 3) присваивает большую вероятность в дополнительной анкете, то Оценка 2 должна быть не больше, чем у более важных факторов, у которых оценка 1 меньше 3. Кроме этого, если в дополнительной анкете эксперт поставил для этого фактора оценку условной вероятности , например, 50%, то это должно означать, что более важные факторы должны иметь не меньшую вероятность. Во-вторых, оценка 2 позволяет «сбалансировать» оценки на основе оценки 1, дающей ранжировку без учета «расстояния» между сравниваемыми факторами, и на основе оценки 2 можно некоторым образом оценивать близость по влиянию (или, наоборот, различие) факторов опасности. Например, если эксперт всем факторам поставил высокую Оценку 2 (например, всем 5), то мы по одной вероятности из дополнительной анкеты «восстановим» остальные вероятности с учетом того, что они не сильно отличатся друг от друга (все высокие). Эти рассуждения приводят к следующей  формуле для расчета скорректированной условной вероятности:
,  j = 1,…,k				(6)
где  – средняя оценка 2 для j-го фактора, т.е. . Заметим, что формула (6) допускает модификации в зависимости от целей коррекции, например, знаменатель может быть равен 5 (максимальный балл). Тогда все оцененные передаточные коэффициенты (условные вероятности) будут в той или иной степени уменьшаться. 
В связи с введением поправочных коэффициентов возникает естественный вопрос о выводе корректной математической формулы, позволяющей «умножать» вероятность на любой поправочный коэффициент. Можно предложить следующую процедуру, заменяющую некорректное умножение (формула (5) может дать оценку вероятности, превышающую 1, что некорректно). Если  – исходная вероятность,  – поправочный коэффициент, то вместо формулы  для скорректированной вероятности  нами предлагается следующая формула (рис.2):
 .					 (7)
Данная формула выводится из соображений пропорционального увеличения или уменьшения в K раз отношения вероятностей «успеха»  и «неудачи» , а именно:
. 
Заметим, что для формулы (5) , и вероятность  может быть скорректирована, если вместо умножения на коэффициент использовать преобразование по формуле (7). Для малых значений (меньше 0,1) вероятности  формулы (5) и (7) дают близкие значения (см. рис.2). Аналогично, формула (6)  также быть скорректирована с использованием преобразования (7). 

Рис. 2. Изменение значений вероятности по формуле (7) при К =0.1, 0.2, 0.5, 1, 2, 5

3.	Заключение
Разработанная методика позволяет оценивать передаточные параметры и корректировать базовые средние вероятности для дерева событий при развитии авиационного события/происшествия на основе логико-вероятностной модели [1]. Совместное использование в анкетах двух ранговых разнонаправленных оценок и вспомогательной абсолютной оценки позволяет учесть влияние барьеров предотвращения и парирования (в экспертном отражении) на вероятность события верхнего уровня в дереве событий. Оценка 2 позволяет «сбалансировать» оценки передаточных коэффициентов на основе оценки 1, дающей ранжировку без учета «расстояния» между сравниваемыми факторами, на основе оценки 2 можно некоторым образом оценивать близость по влиянию (или, наоборот, различие) факторов опасности. Возможно также использование более продвинутых процедур на этапе проверки согласованности. Углубленный статистический анализ экспертных оценок, полученных от летного состава АК, представляет как научный, так и практический интерес, однако на данной стадии разработки представляется достаточным ограничиться базовыми процедурами (формулы (1) – (7)).
Работа выполнена в рамках федеральной целевой программы "Научные и научно-педагогические кадры инновационной России" на 2009-2013 гг., а также при поддержке Министерства образования и науки РФ в рамках постановления правительства РФ № 218.

ЛИТЕРАТУРА
1.	Шаров В. Д., Макаров В. П. Методология применения комбинированного метода FMEA-FTA для анализа риска авиационного события // Научный вестник МГТУ ГА. – 2011. –№174(12). – С. 18-24.
2.	Зубков Б. В., Шаров В. Д. Теория и практика определения рисков в авиапредприятиях при разработке системы управления безопасностью полетов. - М.: МГТУ ГА, 2010.
3.	Бутов А.А., Орлов А.И., Шаров В.Д. Проблемы управления группой авиакомпаний // Управление развитием крупномасштабных систем (MLSD'2011): Материалы Пятой международной конференции (3-5 октября 2011 г., Москва, Россия) Том II. М.: Учреждение Российской академии наук Институт проблем управления им. В.А.Трапезникова РАН, 2011. – С.22-25.
4.	Бутов А.А., Орлов А.И., Сирота В.В., Шаров В.Д. Принятие решений при разработке системы прогнозирования и предотвращения авиационных происшествий при организации и производстве воздушных перевозок // Теория активных систем: Труды международной научно-практической конференции (14-16 ноября 2011 г., Москва, Россия). Том I. Общая редакция – В.Н. Бурков, Д.А. Новиков. – М.: ИПУ РАН, 2011. – С.112-115. 
5.	Орлов А.И., Рухлинский В.М., Шаров В.Д. Экономическая оценка рисков при управлении безопасностью полетов // Материалы I Международной конференции «Стратегическое управление и контроллинг в некоммерческих и публичных организациях: фонды, университеты, муниципалитеты, ассоциации и партнерства»: выпуск №1 / Под научн. ред. С.Л. Байдакова и С.Г. Фалько. – М.: НП «ОК», 2011. – С. 108-114.
6.	Агеев А. С. Методика проведения экспертных оценок деятельности авиапредприятия по обеспечению безопасности полетов // Научный вестник МГТУ ГА. – 2011. –№174(12). – С. 69-72.
7.	Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. – 486 с.
8.	Руководство по информационному обеспечению автоматизированной системы обеспечения безопасности полетов воздушных судов гражданской авиации Российской Федерации (АСОБП). – М.: «Аэронавигационное консалтинговое агентство», 2002 г.
9.	Орлов А.И. Прикладная статистика. – М.: Экзамен, 2006. – 671 с.

THE METHODOLOGY OF DUAL SCALES IN EXPERT ESTIMATING OF PARAMETERS OF AN INTERMEDIATE EVENTS TREE OF AVIATION ACCIDENT DEVELOPMENT WITH PREVENTION AND PARRYING BARRIERS
 
Orlov A.I., Savinov Yu.G., Bogdanov A.Yu.

The new dual methodology of expert estimation of the parameters of intermediate events tree in the development of aviation event / incident is elaborated in the article on the basis of logical and probabilistic model that combines the advantages of both widely used methods FMEA and FTA [1].

Key words: aviation accident/incident, logical-probability tree of events, expert estimates, order and absolute scales, dual rank-absolute methodology

Сведения об авторах

Орлов Александр Иванович, 1949 г.р., окончил Московский государственный университет (1971), профессор (1995), д.э.н. (2010), д.т.н. (1993), к.ф.-м.н. (1976). Автор более 700 публикаций в России и за рубежом, в том числе более 40 книг. Область научных интересов: статистические методы, организационно-экономическое моделирование.
Савинов Юрий Геннадьевич, 1978 г.р., окончил Ульяновский государственный университет (2000), кандидат физико-математических наук, докторант. Область научных интересов: модели накопления повреждений, анализ надежности, управление безопасностью полетов.
Богданов Андрей Юрьевич, 1971 г.р., окончил Московский государственный университет (1993), кандидат физико-математических наук (1997), доцент (2001). Автор более 120 научных работ, в том числе автор и соавтор 5 монографий, 9 патентов. Область научных интересов: нелинейные неавтономные системы, математическая теория управления, инженерные приложения теории вероятностей.